# 放缩指导-微调语言模型

import {截图} from 'components/截图'
import FLAN1 from '../../img/flan-1.png'
import FLAN2 from '../../img/flan-2.png'
import FLAN3 from '../../img/flan-3.png'
import FLAN4 from '../../img/flan-4.png'
import FLAN5 from '../../img/flan-5.png'
import FLAN6 from '../../img/flan-6.png'
import FLAN7 from '../../img/flan-7.png'
import FLAN8 from '../../img/flan-8.png'
import FLAN9 from '../../img/flan-9.png'
import FLAN10 from '../../img/flan-10.png'
import FLAN11 from '../../img/flan-11.png'

## 有什么新进展吗？

<截图 src={FLAN1} alt="FLAN1" />
图像来源：[Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

本文探讨了放缩[指令微调](https://arxiv.org/pdf/2109.01652.pdf)的好处以及它如何提高各种模型（PaLM、T5）、提示设置（零次、少次、CoT）和基准测试（MMLU、TyDiQA）的性能。这是通过以下方面来探究的：扩展任务数量（1.8K任务）、扩展模型规模以及在链式思考数据（使用9个数据集）中微调。

**微调过程：**
- 1.8K个任务被表述为指令，并用于微调模型
- 既使用样例，又使用不含样例的CoT

微调任务和保留任务如下所示：

<截图 src={FLAN11} alt="FLAN11" />

## 能力和关键结果

- 指令微调随着任务数量和模型大小的扩展而扩展；这表明需要进一步扩展任务数量和模型大小
- 将CoT数据集添加到微调中可使推理任务表现良好
- Flan-PaLM具有更好的跨语言能力；TyDiQA一次性测试上有14.9%的改善；在基数较小的语言中进行算术推理，有8.1%的改善
- Plan-PaLM在开放式生成问题上也表现良好，这是改善可用性的好指标
- 在负责任的AI（RAI）基准测试中提高了性能。- Flan-T5指令调整模型展示了强大的小样本能力，并且优于公共检查点，如T5。

**当缩放微调任务的数量和模型大小时的结果：**预计缩放模型的大小和微调任务的数量将继续改善性能，尽管缩放任务的数量会有收益递减的现象。

<Screenshot src={FLAN2} alt="FLAN2" />
图片来源：[Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

**在微调非CoT和CoT数据时的结果：**在非CoT和CoT数据上联合微调可以提高两个评估指标的性能，相比于只微调其中一个。

<Screenshot src={FLAN3} alt="FLAN3" />
图片来源：[Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

此外，CoT与自我一致性在多个基准测试中实现了SoTA结果。 CoT +自我一致性在涉及数学问题的基准测试中（例如MGSM，GSM8K）也显著提高了结果。

<Screenshot src={FLAN4} alt="FLAN4" />
图片来源：[Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

CoT微调在BIG-Bench任务中实现了零-shot推理，由短语“让我们逐步思考”激活。总体而言，零-shot CoT Flan-PaLM的性能优于没有微调的零-shot CoT PaLM。

<Screenshot src={FLAN6} alt="FLAN6" />
图片来源：[Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

以下是PaLM和Flan-PaLM在未见过的任务中进行零-shot CoT的演示。

<Screenshot src={FLAN5} alt="FLAN5" />
图片来源：[Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

以下是更多的零-shot提示示例。它展示了在零-shot环境下，PaLM模型在重复和未回复指令方面存在问题，而Flan-PaLM模型能够表现良好。少样本示例可以缓解这些错误。

<Screenshot src={FLAN7} alt="FLAN7" />图片来源：[Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

以下是针对几种不同类型的具有挑战性的开放性问题展示 Flan-PALM 模型更多零样本能力的一些示例：

<Screenshot src={FLAN8} alt="FLAN8" />
图片来源：[Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)


<Screenshot src={FLAN9} alt="FLAN9" />
图片来源：[Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

<Screenshot src={FLAN10} alt="FLAN10" />
图片来源：[Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)

您可以在 [Hugging Face Hub 上尝试 Flan-T5 模型](https://huggingface.co/google/flan-t5-xxl)。